Big Data and Analytics Power Query দিয়ে Data Transform এবং Clean করা গাইড ও নোট

Power Query এক্সেলের একটি শক্তিশালী ফিচার যা ডেটা সংগ্রহ, ট্রান্সফরমেশন এবং ক্লিনিং এর জন্য ব্যবহৃত হয়। Excel Dashboards তৈরির সময় ডেটা যদি অপরিষ্কার বা অসংগঠিত থাকে, তবে Power Query ব্যবহার করে আপনি সহজেই ডেটা রূপান্তর এবং পরিস্কার করতে পারেন, যা আপনার ড্যাশবোর্ডের পারফরম্যান্স এবং সঠিকতা বৃদ্ধি করবে।

এই প্রবন্ধে, আমরা Power Query এর মাধ্যমে Data Transformation এবং Data Cleaning এর কৌশল নিয়ে আলোচনা করব, যা Excel Dashboard তৈরির জন্য অত্যন্ত কার্যকরী।

১. Power Query কী?

Power Query হলো এক্সেলে একটি data connection এবং transformation টুল, যা ব্যবহারকারীদের বিভিন্ন সোর্স থেকে ডেটা সংগ্রহ করতে, ট্রান্সফর্ম করতে এবং ক্লিন করতে সহায়তা করে। Power Query এর মাধ্যমে আপনি ডেটার অসঙ্গতি সনাক্ত করতে পারেন, যেমন missing data, duplicate data, incorrect formatting, ইত্যাদি এবং সেগুলি ঠিক করতে পারবেন।

Power Query এর সুবিধা:

• Data Import: এক্সেল ফাইল, CSV, Web এবং অন্যান্য ডেটা সোর্স থেকে ডেটা এক্সট্র্যাক্ট করা।
• Data Transformation: ডেটা ফরম্যাট পরিবর্তন, কলাম যোগ/বিয়োগ, ফিল্টারিং, রেঞ্জ পরিবর্তন ইত্যাদি করা।
• Data Cleaning: ডেটায় অপ্রয়োজনীয় বা ত্রুটিপূর্ণ মানগুলো মুছে ফেলা বা সংশোধন করা।
• Automation: একবার কনফিগার করা হলে, একই ডেটা সোর্স থেকে স্বয়ংক্রিয়ভাবে ডেটা ট্রান্সফর্ম করা।

২. Power Query দিয়ে Data Import এবং Connection করা

Power Query ব্যবহার করে আপনি বিভিন্ন সোর্স থেকে ডেটা ইম্পোর্ট করতে পারেন এবং তা এক্সেলে লোড করতে পারেন।

Steps to Import Data using Power Query:

1. Power Query Editor Open করুন:
   • Data Tab থেকে Get & Transform Data সেকশনে Get Data অপশন নির্বাচন করুন।
   • এখানে আপনি বিভিন্ন সোর্স থেকে ডেটা ইম্পোর্ট করতে পারেন, যেমন Excel, CSV, Web, SQL Server, ইত্যাদি।
2. Select Data Source:
   • আপনি Excel ফাইল, CSV ফাইল, বা অন্য কোনো সোর্স নির্বাচন করুন এবং ডেটা লোড করার জন্য সেই সোর্সের অবস্থান চিহ্নিত করুন।
3. Power Query Editor তে ডেটা লোড করুন:
   • ডেটা লোড হলে তা Power Query Editor তে প্রবেশ করবে, যেখানে আপনি ডেটা ক্লিন এবং ট্রান্সফর্ম করতে পারবেন।

৩. Power Query দিয়ে Data Transform করা

Power Query ব্যবহার করে ডেটা ট্রান্সফর্ম করা অত্যন্ত সহজ এবং ইন্টারেকটিভ। আপনি Power Query Editor তে কিছু সাধারণ ট্রান্সফরমেশন কাজ করতে পারবেন, যেমন ডেটা ফিল্টার, কলাম যোগ, কলাম মুছে ফেলা, ডেটা টাইপ পরিবর্তন ইত্যাদি।

Common Data Transformations in Power Query:

1. Remove Columns:
   • Columns মুছে ফেলার জন্য, আপনি Power Query Editor তে যেকোনো কলামে রাইট ক্লিক করে Remove অপশন নির্বাচন করতে পারেন।
   • এছাড়া, আপনি Remove Other Columns ব্যবহার করতে পারেন যেগুলি প্রয়োজনীয় নয়।
2. Rename Columns:
   • Column Names পরিবর্তন করতে, আপনি যেকোনো কলামে রাইট ক্লিক করে Rename অপশন ব্যবহার করতে পারেন।
3. Change Data Types:
   • Power Query তে ডেটা টাইপ পরিবর্তন করতে, কলামের ডানপাশে ছোট data type icon ক্লিক করুন এবং সেখান থেকে প্রয়োজনীয় টাইপ (যেমন, Number, Date, Text) নির্বাচন করুন।
4. Remove Duplicates:
   • Remove Duplicates ফিচার ব্যবহার করে আপনি ডুপ্লিকেট রেকর্ড মুছে ফেলতে পারেন। সেজন্য, আপনি যেসব কলামে ডুপ্লিকেট মুছতে চান সেগুলি নির্বাচন করুন এবং Remove Duplicates নির্বাচন করুন।
5. Filter Data:
   • Filters ব্যবহার করে আপনি নির্দিষ্ট শর্ত অনুযায়ী ডেটা ফিল্টার করতে পারেন। যেমন, একটি কলাম থেকে ১০০ এর বেশি মান ফিল্টার করা।
6. Merge Queries:
   • বিভিন্ন টেবিল একত্রিত করতে Merge Queries ফিচার ব্যবহার করুন। এটি একটি ডেটা সোর্সের সাথে অন্য ডেটা সোর্সের যোগফল তৈরি করবে।
7. Unpivot Columns:
   • Unpivot অপশন ব্যবহার করে আপনি টেবিলের ডেটাকে পরিবর্তন করতে পারেন যাতে আপনি wide format থেকে long format এ নিয়ে আসতে পারেন।
8. Add Calculated Columns:

   • নতুন কাস্টম কলাম যোগ করতে, আপনি Add Column ট্যাব থেকে Custom Column নির্বাচন করতে পারেন এবং সেখানে ফর্মুলা ব্যবহার করতে পারেন। উদাহরণস্বরূপ:

     = [Sales] * 0.1
     

৪. Power Query দিয়ে Data Clean করা

Data Cleaning হল একটি গুরুত্বপূর্ণ প্রক্রিয়া যেখানে আপনি ডেটা থেকে ভুল বা অনুপযুক্ত মান মুছে ফেলেন। Power Query আপনাকে missing values, duplicates, এবং incorrect formatting সংশোধন করতে সহায়তা করবে।

Common Data Cleaning Tasks in Power Query:

1. Remove Blank Rows:
   • Blank Rows মুছে ফেলতে, আপনি Remove Blank Rows অপশন ব্যবহার করতে পারেন। এটি সেই সব সেল বা রো সরিয়ে ফেলবে যেখানে কোন ডেটা নেই।
2. Replace Missing or Null Values:
   • আপনি Replace Values অপশন ব্যবহার করে অনুপস্থিত মান (যেমন, null বা empty cells) প্রতিস্থাপন করতে পারেন। উদাহরণস্বরূপ, আপনি 0 অথবা N/A দিয়ে null values প্রতিস্থাপন করতে পারেন।
3. Trim Extra Spaces:
   • ডেটায় অপ্রয়োজনীয় স্পেস থাকলে তা মুছে ফেলতে, Transform ট্যাব থেকে Trim অপশন ব্যবহার করুন। এটি extra spaces সরিয়ে ফেলবে।
4. Fix Incorrect Data:
   • আপনি Transform ট্যাব থেকে ডেটার ফরম্যাট ঠিক করতে পারেন, যেমন lowercase, uppercase, বা proper case পরিবর্তন করতে।
5. Split Columns:
   • একটি কলাম থেকে একাধিক তথ্য ভাগ করতে, Split Column অপশন ব্যবহার করুন। উদাহরণস্বরূপ, যদি একটি কলামে First Name এবং Last Name একসাথে থাকে, আপনি সেগুলি আলাদা আলাদা কলামে ভাগ করতে পারেন।

৫. Loading Data to Excel

একবার ডেটা ক্লিন এবং ট্রান্সফর্ম করার পর, আপনি Power Query এ করা পরিবর্তনগুলি Excel শীটে লোড করতে পারবেন।

How to Load Data to Excel:

1. Close & Load:
   • Power Query Editor তে পরিবর্তন করার পর, আপনি Close & Load অপশন নির্বাচন করুন।
   • এটি আপনার ট্রান্সফর্ম করা ডেটা Excel Worksheet তে লোড করবে।
2. Load to Table:
   • আপনি ডেটা Table হিসেবে লোড করতে পারেন, যাতে পরবর্তীতে Excel Charts বা Pivot Tables ব্যবহার করে ডেটার উপর আরও বিশ্লেষণ করা সম্ভব হয়।

সারাংশ

Power Query হলো একটি শক্তিশালী টুল যা Excel Dashboards তৈরির জন্য অত্যন্ত কার্যকরী। এটি ডেটা transform, clean, এবং aggregate করার জন্য ব্যবহৃত হয়, যাতে ডেটা বিশ্লেষণ এবং প্রদর্শন আরও সহজ, দ্রুত এবং সঠিক হয়। আপনি Power Query ব্যবহার করে ডেটার গুণগত মান উন্নত করতে পারেন, যেমন missing values, duplicates, incorrect formatting ঠিক করা, এবং ডেটাকে আরও সহজভাবে বিশ্লেষণযোগ্য করতে পারেন। Excel Dashboard তৈরি করার জন্য Power Query এর এই ক্ষমতাগুলি অত্যন্ত গুরুত্বপূর্ণ।